Rockefeller kuoli 97-vuotiaana arterioskleroosiin 23. toukokuuta vuonna 1937 kotonaan Ormond Beachilla, Floridassa. Rockefeller haudattiin Lake View’n hautausmaalle Clevelandiin, Ohioon. Hänen vanhin poikansa John D. Rockefeller, Jr. jatkoi yhtiön johdossa.